Trong đề tài này, ta tìm hiểu về khái niệm và mô hình hệ thống Data Warehouse, áp dụng các dịch vụ của AWS để xây dựng hệ thống Data Warehouse hiệu quả. Ta tập trung vào việc tự động hóa quy trình xử lý dữ liệu trong hệ thống bằng cách sử dụng AWS Lambda và Step Functions. Data Warehouse là hệ thống lưu trữ dữ liệu phi cấu trúc và cấu trúc, hỗ trợ tổ chức, phân tích dữ liệu và hỗ trợ quyết định. Nó bao gồm phần lưu trữ dữ liệu và phần xử lý dữ liệu. Ta sử dụng Amazon S3 để lưu trữ dữ liệu và AWS Lambda để viết mã xử lý dữ liệu và thực hiện các tác vụ ETL. AWS Step Functions giúp xây dựng và quản lý các quy trình xử lý dữ liệu tự động. Tự động hóa ETL giúp giảm công sức và thời gian, đảm bảo tính nhất quán và chính xác của hệ thống Data Warehouse.

Từ khóa:

ĐATN Kỹ thuật phần mềm K14; ĐATN Công Nghệ Thông Tin; Xây dựng mô hình; Warehouse

Abstract:

In this topic, we will explore the concept and model of a Data Warehouse system and apply AWS services to build an efficient Data Warehouse system. We will focus on automating the data processing workflow within the system using AWS Lambda and Step Functions. A Data Warehouse is a storage system for structured and unstructured data, supporting data organization, analysis, and decision-making within an organization. It consists of a data storage component and a data processing component. We utilize Amazon S3 as the data storage service and AWS Lambda for writing data processing code and performing ETL tasks. AWS Step Functions are employed to construct and manage automated data processing workflows. Automating the ETL process reduces effort and time while ensuring consistency and accuracy within the Data Warehouse system.

Key word:

Software Engineering K14; Information Technology; Model building; Warehousen